Tháng 9 năm 970, Tống Thái Tổ phong Phan Mỹ làm Gia châu đạo hành doanh binh mã đô bộ thử, Y Sùng Kha làm phó; điều động các châu quận tập hợp binh mã về Gia châu. Phan Mỹ chia quân làm 4 đạo tiến tới đồn Bạch Hà[18].

Tại Nam Hán, các tướng giỏi nhiều người đã bị chết hoặc bãi chức vì gièm pha, nắm việc binh nhiều người là hoạn quan. Nghe tin quân Tống đến Bạch Hà, Lưu Sưởng sai Cung Trừng Khu ra phòng thủ Gia châu. Lúc đó quân lính Gia châu đói kém khổ cực, không đủ quần áo mặc, trông chờ Cung Trừng Khu ban thưởng động viên, nhưng không được gì. Vì vậy quân Gia châu chán nản, không còn ý chí chiến đấu[19]. Cung Trừng Khu sợ hãi nhân lúc đêm tối lên thuyền trốn về Quảng Châu. Gia châu bị quân Tống vây chặt.

Lưu Sưởng nghe tin Gia châu nguy cấp rất sợ, đành triệu lại lão tướng Phan Sùng Triệt đã bị cách chức ra mặt trận. Sùng Triệt vốn bất mãn vì vô cớ bị bãi chức nên lấy cớ đau mắt không tiếp sứ giả. Lưu Sưởng phải điều Ngũ Nhạn Phu cứu Gia châu.

Ngũ Nhạn Phu tuy có chí nhưng tài năng có hạn[20], dẫn quân ngày đêm đi ra mặt trận. Đến nơi trời vừa tối, cho quân sĩ ngủ trên thuyền đợi đến sáng. Sáng hôm sau vừa lên bờ thì bị phục binh của Phan Mỹ kéo đến vây bắt gọn. Quân Nam Hán chết quá nửa, Nhạn Phu bị bắt chém, thành Gia châu đầu hàng.

Phan Mỹ phao tin đánh thẳng đến Quảng châu. Lưu Sưởng lại sai người đi triệu Phan Sùng Triệt lần nữa. Sùng Triệt không thể từ chối được, bèn lĩnh chức Nội thái sư, mang 3 vạn quân ra đóng ở Gia Giang[21].

Tháng 10 năm đó, Phan Mỹ đánh chiếm Chiêu châu[22]. Thứ sử Chiêu châu bỏ chạy. Phan Mỹ tiến đánh luôn Quế châu[23], thứ sử Quế châu cũng bỏ thành chạy nốt.

Tháng 11, Phan Mỹ tiến về phía đông, đánh chiếm Liên châu[24].

Nghe tin mất 4 châu, Lưu Sưởng nói với các quan:

Quân Tống đánh được 4 châu đã thỏa mãn rồi, sẽ không tiến xuống phía nam nữa[25]

Phan Mỹ tiếp tục hành quân đánh Thiều châu[26]. Lưu Sưởng cử Lý Thừa Ốc làm đô thống, dẫn 10 vạn quân dàn trận ở núi Liên Hoa Phong chống lại. Quân Nam Hán dùng 10 con voi dàn trận phía trước, Phan Mỹ sai lấy nỏ bắn voi, voi quay đầu chạy. Quân Nam Hán bại trận, Thiều châu thất thủ.

Lưu Sưởng thấy nguy cấp quá, muốn đầu hàng, nhưng Lý Thác kịch liệt phản đối. Lưu Sưởng đành dùng kế đào hào đắp lũy cố thủ Quảng châu. Trong lúc vua Nam Hán không còn ai sai khiến thì một bà lão trong cung tiến cử con nuôi là Quách Sùng Nhạc. Lưu Sưởng bèn cho Nhạc làm Chiêu thảo sứ, cùng Thực Đình Hiếu mang 6 vạn quân ra Mã Kinh cự địch. Nhưng Sùng Nhạc không có tài cầm quân, chỉ biết thắp hương cầu thần phù hộ[27].

Tháng giêng năm 971, Phan Mỹ đánh chiếm Anh châu,[28] Hùng châu.[29] Phan Sùng Triệt không đánh mà hàng quân Tống.

Lưu Sưởng một mặt sai sứ cầu hòa, mặt khác chuẩn bị bỏ trốn. Ông sắp sẵn 10 chiếc thuyền, đưa vàng bạc châu báu lên thuyền, nhưng chưa sắp xong thì hoạn quan Lạc Phạm và hơn 1000 vệ sĩ đã cướp thuyền chạy trốn trước.[27] Khi Lưu Sưởng và các phi tần định xuống thuyền thì thuyền đã đi mất. Không còn cách nào khác, Lưu Sưởng đành quay trở về cung làm biểu xin hàng, sai Tiêu Thôi Trung và Trần Duy Hưu đem đến chỗ Phan Mỹ. Phan Mỹ sai đưa sứ Nam Hán về Biện Kinh cho vua Tống quyết định.

Lưu Sưởng thấy sứ giả đi lâu không về, tưởng rằng không được hàng, nên lại ra lệnh cho Quách Sùng Nhạc tiến đánh. Ngày 4 tháng 2 (3 tháng 3), tướng Thực Đình Hiểu tử trận khi đang đốc trận. Phan Mỹ nhân lúc gió to bèn dùng hỏa công đánh trại Nam Hán. Quân Hán đại bại, Sùng Nhạc tử trận nốt.

Thành Quảng châu hỗn loạn. Cung Trừng Khu, Lý Thác bàn rằng:

Quân phương bắc đến đây là để cướp của báu. Nay ta đốt sạch đi, chỉ còn thành không thì quân địch không thể ở lâu, sẽ tự rút sớm

Lưu Sưởng cho là kế hay, bèn sai đốt cháy cung điện, kho tàng. Thành Quảng châu bị thiêu cháy. Sáng hôm sau, ngày Tân Mùi (5) tháng 2[30] (4 tháng 3) quân Tống tiến vào. Lưu Sưởng không còn đường thoát, phải cởi bỏ long bào, mặc áo vải, cưỡi ngựa trắng đến trước Phan Mỹ xin hàng.